/ BUNDESREPUBLIK DEUTSCHLAND 

/ — = 




Prioritatsbescheinigung uber die Einreichung 
einer Patentanmeldung 



Aktenzeichen: 

Anmeldetag: 

Anmelder/lnhaber: 

Bezeichnung: 

IPC: 



100 51 415.4 



17. Oktober 2000 



CERTIFIED COPY OF 
PRIORITY DOCUMENT 



A.R.T. GmbH, Herrsching/DE 



Optisches Trackingsystem und -verfahren 



H 04 N, G 01 B, G 06 T 



Die angehefteten Stucke sind eine richtige und genaue Wiedergabe der 
ursprunglichen Unterlagen dieser Patentanmeldung. 




^ Oft Munchen, den 8. November 2001 
OQv^^J^tsches Patent- und Markenamt 



Der President 

Im Auftrag 




Woosma/er 



A 9161 

03/00 
EDV-L 



A.R.T. GmbH, Herrsching 



418 001 A 
06.10.2000 



Optisches Trackingsystem und -verfahren 

Die Erfindung betrifft ein optisches Trackingsystem zur Po- 
sitions- und/oder Orientierungsbestimmung eines mit wenigs- 
tens einem Marker ausgestatteten Objektes mit mindestens 
zwei Bildauf nehmern zur bildlichen Erfassung des wenigstens 
einen Markers und mit mindestens einer Recheneinheit zur 
Auswertung der von den Bildauf nehmern erfassten Bilder zur 
Berechnung der Position und/oder der Orientierung des Ob- 
jektes. Die Erfindung betrifft weiterhin ein 
entsprechendes Trackingverfahren, ein Computerprogramm, um 
das Verfahren auf einem Computer zu implementieren sowie 
ein dieses Programm aufweisendes Computerprogramm-Produkt . 

Ein gattungsgemaftes Trackingsystem und -verfahren ist aus 
der DE-19806646 CI zur Bestimmung der Position und Orien- 
tierung einer Auf nahmekamera bekannt. Um beispielsweise ei- 
ne aufgenommene Person prazise und lagegetreu in einen vir- 
tuell erstellten Hintergrund integrieren zu konnen, muss 
die jeweils bestehende Position und Orientierung der Auf- 
nahmekamera bekannt sein. Es wird dort ein Trackingsystem 
vorgeschlagen mit mindestens zwei an der Kamera anzubrin- 
genden Lichtquellen, mindestens zwei Erf assungskameras zur 
bildlichen Erfassung der Lichtquellen und mit einer Rechen- 
einheit zur Auswertung dieser Bilder. Bei einer optimalen 
Anzahl von Lichtquellen und Erf assungskameras konnen mit 
hinreichender Genauigkeit Position (dreidimensionaler Ort) 
sowie die Orientierung (Roll-, Nick- und Schwenkwinkel ) der 
Kamera bestimmt werden. Vorteilhaf terweise handelt es sich 



urn Lichtquellen im Inf rarotbereich, um diese von den ande- 
ren in einem Studio vorhandenen Lichtquellen zu entkoppeln. 
Als Erf assungskameras werden handelsiibliche CCD-Kameras 
vorgeschlagen . Die Berechnung von Position und Orientierung 
der Auf nahmekamera erfolgt in einer Datenverarbeitungsanla- 
ge mittels trigonometrischer Berechnungen . 

Aus der WO99/52094 ist ein Trackingsystem bekannt, bei dem 
von lichtemittierenden Dioden in bestimmten Zeitfenstern 
abgegebene Inf rarotblit ze zeitauf gelost von einer synchro- 
nisierten Kamera empfangen werden.. 

Weiterhin ist in der WO99/30182 ein Trackingsystem be- 
schrieben, bei dem die mindestens drei Marker eines Objek- 
tes, die miteinander in einer vorbestimmten geometrischen 
Beziehung angeordnet sind, beispielsweise anhand von an 
diesen Markern ref lektierten Strahlen erfasst werden, wor- 
aus sich durch Vergleich mit gespeicherten Markeranordnun- 
gen die Position und Orientierung der Objekte berechnen 
lassen. 

Aus der W099/17133 ist die Verwendung von aktiven (energie- 
emittierenden) und passiven (energieref lektierenden) Tar- 
gets zur Verfolgung eines mit solchen Targets ausgestatte- 
ten Objektes bekannt. 

Bei vorliegender Erfindung wird ein mit mindestens einem 
Marker ausgestattetes beliebiges Objekt gleichzeitig von 
mindestens zwei Trackingkameras oder Bildauf nehmer beobach- 
tet, deren Position und Orientierung im Raum bekannt ist, 
so dass aus den Bildern, die diese Kameras liefern, mit 
Hilfe trigonometrischer Methoden der Ort des Markers und 
damit des Objektes im Raum bestimmt werden kann . Hierzu 
werden fur einen Marker Sehstrahlen konstruiert, die vom 
Ort jeder Trackingkamera ausgehen und deren Schnittpunkt im 



Raum den dreidimensionalen Ort des Markers angibt . Bei Ver- 
wendung mehrerer Marker pro Objekt kann neben der dreidi- 
mensionalen Position auch die Orientierung des Objekts im 
Raum, d. h. eine „6D-Position" , berechnet werden. Die Ori- 
entierung eines Objekts wird durch die relative Drehung des 
Objekts im Raum sowie die Drehung urn sich selbst bestimmt. 

Bei den bekannten und oben beschriebenen Trackingsystemen 
wird meist der gesamte von einem Bildauf nehmer (Trackingka- 
mera) aufgenommene Bildbereich ausgelesen, digitalisiert 
und nach Mar kern durchsucht. Die Positionen der gefundenen 
Marker werden anschlieliend in zwei Dimensionen (in den 
Bildkoordinaten) exakt berechnet. Diese Daten werden an ei- 
nen zentralen Rechner oder eine zentrale Rechenprozedur 
weitergegeben, wo die von mehreren Bildauf nehmern zu einem 
Zeitpunkt auf genommenen Daten gesammelt werden. Hierauf 
bauen die weiteren Rechnungen auf, die die Position 
und/oder Orientierung der zu trackenden Objekte zum Ergeb- 
nis haben . 

Diese Trennung der einzelnen Arbeitsschritte weist mehrere 
Nachteile auf. So erfolgt beispielsweise das Auslesen des 
Bildauf nehmers in Bildbereichen, in denen sich keine Marker 
befinden, auf dieselbe Weise, wie in den eigentlich inte- 
ressierenden Bildbereichen, in denen Marker vorhanden sind. 
Das Auslesen des Bildauf nehmers ist jedoch eine der wesent- 
lichen Zeitrestriktionen fur derartige Prazisions- 
Trackingsysteme, da die Pixelinf ormationen sequentiell zu 
einem A/D-Wandler gefuhrt werden, und da sich andererseits 
im allgemeinen eine Erhohung der Auslesef requenz negativ 
auf die erreichbare Genauigkeit auswirkt . 

Aufgabe vorliegender Erfindung ist daher, die oben genann- 
ten Nachteile von zeit- und speicherintensiven Tracking- 
systemen zu vermeiden und bei unverminderter oder erhohter 
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Tracking-Genauigkeit wesentliche Zeitgewinne zu erzielen. 
Insbesondere soil beim Einsatz ref lektierender Marker eine 
erhohte Genauigkeit bei der Bestimmung der Markerpositionen 
im Bild im Vergleich zu den bekannten Systemen erzielt wer- 
den . 

Diese Aufgabe wird durch die Merkmale eines optischen Tra- 
ckingsystems gemaft Anspruch 1 sowie durch ein Verfahren zur 
Positions- und/oder Orientierungsbestimmung gemaJi Anspruch 
13 und ein entsprechendes Computerprogramm oder Computer- 
programm-Produkt gemafi Anspruch 23 bzw. 24 gelost. Vorteile 
der Erfindung ergeben sich aus den jeweiligen Unteranspru- 
chen sowie der nachf olgenden Beschreibung . 

Beim er f indungsgemafien Trackingsystem ist mindestens eine 
Recheneinheit zur Auswertung der von den Bildauf nehmern er- 
fassten Bilder sowie Mittel vorgesehen, um von einer sol- 
chen Recheneinheit errechnete Inf ormationen zuriick zu einer 
anderen Recheneinheit und/oder zuriick zum Bildauf nehmer zu 
ubermitteln. Hierdurch wird eine bidirektionale Datenuber- 
tragung moglich, die im Vergleich zur bisherigen unidirek- 
tionalen Dateniibertragung wesentliche Vorteile bringt. Die 
ruckubertragenen Inf ormationen werden zur Steuerung der 
Bildauf nahme und/oder der Bildauswertung verwendet . Hier- 
durch konnen beispielsweise Inf ormationen uber Ort, Grofte 
und Helligkeit der interessierenden Marker dazu genutzt 
werden, die Bildaufnahme zu optimieren, sowie die fur den 
Auslesevorgang interessierende und nicht interessierende 
Bildbereiche unterschiedlich zu behandeln. Weiterhin konnen 
Inf ormationen uber Position oder Orientierung des Objektes 
zur Extrapolation auf zu erwartende Positionen oder Orien- 
tierungen genutzt werden und die Bildaufnahme sowie - 
auswertung daraufhin ausgerichtet werden. 



Durch die Erfindung werden die Nachteile der Trennung der 
einzelnen Rechenschritte in Richtung von Bildaufnahme zu 
der Tracking-Ergebnisausgabe iiberwunden, indem Informatio- 
nen insbesondere von dem Ort, an dem erste Tracking- 
Ergebnisse zur Verfugung stehen, an die Orte, an denen die 
Bildaufnahme und die ersten Schritte der Bildverarbeitung 
vorgenommen werden (im allgemeinen die Bildauf nehmer und 
die die Mar kerpositionen im Bild bestimmenden Rechenstu- 
fen) , ruckgefiihrt werden. 

Haufig sind die Rechenstufen zur Bildauswertung nicht nur 
logisch, sondern auch physikalisch in eine 2D-Rechenstufe 
und eine nachgeschaltete zentrale 3D-/6D-Rechenstuf e ge- 
trennt. In der 2D-Rechenstuf e werden die Markerpositionen 
in den Bildkoordinaten des Bildauf nehmers berechnet, so 
dass haufig jedem Bildauf nehmer eine solche Rechenstufe un- 
mittelbar zugeordnet ist. Aus den ermittelten Daten werden 
dann in einer zentralen Recheneinheit die dreidimensionalen 
Positions- oder sechsdimensionalen Positions- und Orientie- 
rungsdaten berechnet. Bei einer solchen Anordnung ist es 
vorteilhaft, Inf ormationen von der zentralen Recheneinheit 
an die einem Bildauf nehmer zugeordnete Recheneinheit und 
gegebenenf alls auch an den Bildauf nehmer selbst zuruckzu- 
leiten, Hierdurch konnen Parameter zur Bildaufnahme beim 
Bildauf nehmer selbst gesteuert und optimal eingestellt wer- 
den sowie die nachfolgende Bildverarbeitung in der 2D- 
Rechenstufe optimiert werden, wobei die Optimierung in Ab- 
hangigkeit von der errechneten Position und/oder Orientie- 
rung des Objekts folgen kann. 

Generell kann es sich bei der riickgef uhrten Information urn 
aktuelle Trackingdaten handeln, die fur die unmittelbare 
Vergangenheit ermittelt wurden, und die Ruckschliisse auf 
den aktuellen Zeitpunkt zulassen. Es kann sich weiterhin urn 
von auBen in das System eingebrachte aktuelle Daten han- 
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deln, die fiir das Tracking relevant sind. Schliefilich kann 
es sich aucti urn a-priori-Inf ormationen beziiglich der Aus- 
gangssituation handeln. Werden aktuelle Trackingdaten rlick- 
gefuhrt, so entsteht ein geschlossener Regelkreis, der in 
zahlreichen Situationen Verbesserungspotential gegenuber 
der bisherigen Arbeitsweise mit unidirektionalem Informati- 
ons f 1 us s bietet . 



Sowohl beim Auslesevorgang des Bildauf nehmers als auch bei 
der Erkennung von Markern und der Berechnung ihrer zweidi- 
mensionalen Positionen kann durch die Ruckfiihrung von In- 
formationen wertvolle Rechenzeit gespart und die Genauig- 
keit erhoht werden . 



Es ist auch denkbar, zu diesem Zweck die 2D-Rechenstufen, 
also die den einzelnen Bildauf nehrnern zugeordneten Rechen- 
einheiten, zum Zufuhren von Inf ormationen oder zum Weiter- 
leiten von Inf ormationen von der zentralen Recheneinheit 
miteinander zu verbinden. 



Es ist vorteilhaft, eine Pradiktionseinheit in die Informa- 
tionsruckf iihrung einzubauen, durch die Daten der unmittel- 
bar vergangenen Bildauf nahmen auf die in der aktuellen 
Bildauf nahme zu erwartenden Daten extrapoliert werden. 
Hierdurch lassen sich beispielsweise zu erwartende Marker- 
positionen im zweidimensionalen Bild berechnen und die fol- 
gende Bildverarbeitung auf den Bereich beschranken, in dem 
Marker zu erwarten sind. In den Bereichen, in denen keine 
Marker erwartet werden, konnen das Auslesen des Bildaufneh- 
mers und die Markererkennung und Positionsbestimmung entwe- 
der ganz entfallen oder mit geringerer Genauigkeit oder nur 
in gewissen Zeitabstanden durchgefiihrt werden. Dies erhoht 
die Verarbeitungsgeschwindigkeit und spart Speicherplat z . 
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Ruckzuf iihrende Inf ormationen konnen auch die aktuellen oder 
zu erwartenden Markergroften sein. Unspezif ische Reflexe 
konnen dann allein aufgrund einer Grolieninf ormation ausge- 
blendet werden. Die Rechenzeit fur die aufwendige Positi- 
onsbestimmung solcher Reflexe entfallt und kann fur eine 
Verbesserung der Berechnung bei den interessierenden Mar- 
kern eingesetzt werden. 

Auch Inf ormationen iiber das aktuelle oder zu erwartende 
Auftreten von Artefakten (haufig aufgrund sich gegenseitig 
teilweise verdeckender Marker) konnen riickgefiihrt werden. 
Dadurch kann die Berechnung der Markerpositionen im zweidi- 
mensionalen Bild bereits mit an diese Situation angepassten 
Algorithmen erfolgen. Die Sicherheit, Schnelligkeit und Ge- 
nauigkeit der Positionsberechnung fur Marker, die von Arte- 
fakten betroffen sind, steigt hierdurch. 

Es ist von Vorteil fur die Datenubertragung in beide Rich- 
tungen, d. h. von der Bildauf nahme zur Bildverarbeitung und 
Trackingberechnung und umgekehrt, physikalisch denselben 
Inf ormationskanal zu benutzen. Die Inf ormationsiibertragung 
kann dann durch Verwendung getrennter Frequenz- oder Zeit- 
fenster erfolgen. Geeignet ist eine Inf ormationsiibertragung 
iiber Ethernet-Verbindungen . 

Eine besonders giinstige Anwendungsmoglichkeit ergibt sich 
durch die Erfindung fur Trackingsysteme, die mit passiven 
Markern arbeiten, d. h. solchen Markern, die elektromagne- 
tische Strahlung im sichtbaren oder Inf rarotbereich reflek- 
tieren. Bei solchen Systemen wird mindestens eine Beleuch- 
tungseinheit zur Bestrahlung der Marker eingesetzt, die ei- 
nem der Bildauf nehmer zugeordnet ist. Retroref lektoren als 
Marker besitzen den Vorteil, den Hauptteil des einfallenden 
Lichts in Einf allsrichtung zuruckzuref lekt ieren . 



Bei den meisten Anwendungen optischer Trackingsysteme muss 
ein weiter Entf ernungsbereich zwischen Bildauf nehmer (Kame- 
ra) und Objekt (Target) iiberdeckt werden. Das System muss 
folglich bei geringen Abstanden genauso wie bei groJien Ab- 
standen zwischen Kamera und Target Ergebnisse ausreichender 
Genauigkeit liefern. Die fur optische Trackingsysteme gan- 
gigen Bildauf nehmer (CCD-Chips) haben jedoch einen nach un- 
ten und oben begrenzten Aussteuerbereich, d. h., ein Signal 
kann unterhalb einer unteren Intensitatsgrenze des einfal- 
lenden Signals nicht mehr ausreichend vom Hintergrund sepa- 
riert werden, und oberhalb einer oberen Intensitatsgrenze 
treten Ubersteuerungsef f ekte auf. Hierdurch wird die Genau- 
igkeit der Positionsbestimmung ver schlechtert . Fur optische 
Trackingsysteme mit passiven ( retroref lektierenden) Markern 
und einer nicht variablen Beleuchtungsintensitat ist der zu 
uberdeckende Entf ernungsbereich zwischen Kamera und Target 
in vielen Anwendungsf alien so grofr, dass im Normalbetrieb 
beide Grenzen des Aussteuerbereichs unter- bzw. liberschrit- 
ten werden. 

Zwei Losungen fur dieses Problem liegen nahe, ohne jedoch 
das Problem zuf riedenstellend zu losen: Das Arbeiten mit 
automatischer Blende und die Steuerung der Beleuchtungsin- 
tensitat nach Art eines Computerblit zes . Beide Lbsung sind 
jedoch nicht praktikabel. Fur Kameras mit automatischer 
Blende kann die notige Genauigkeit der Abbildungskorrektur 
nicht mehr garantiert werden. Der Einsatz eines ^Computer- 
blitzes", der die eingehende Lichtenergie aufsummiert und 
bei Erreichen eines Grenzwertes die Beleuchtung stoppt, 
wird in sehr vielen Fallen aufgrund unspezif ischer Reflexe 
(spiegelnde Oberflachen) oder externer Storquellen (z. B. 
Scheinwerf er ) unbrauchbare Ergebnisse liefern. Auch eine in 
der Praxis typische Situation, die Ausleuchtung von z. B. 
zweier Targets, von denen sich eines nahe der Trackingkame- 
ra (Bildauf nehmer ) und eines weit davon entfernt befindet, 
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kann durch diese Art von Computerblit z nicht hinreichend 
gemeistert werden . 

Die erf indungsgemalie Datenruckf iihrung ermoglicht die Losung 
dieses Problems. Die Trackingkameras (Bildauf nehmer ) erhal- 
ten von einer Recheneinheit (zentrale Recheneinheit ) Infor- 
mationen uber den momentanen Abstand der Marker zu den ein- 
zelnen Bildauf nehmern und uber die Art der Marker. Die Be- 
leuchtungsstarke kann dann fur jeden einzelnen Bildaufneh- 
mer auf die Erf ordernisse eingestellt werden. Dadurch ist 
sichergestellt , dass innerhalb des Aussteuerbereichs des 
Bildauf nehmers gearbeitet wird. 

Die Information, welche Beleuchtungsstarke fur welchen Ab- 
stand und fur welchen Markertyp notig ist, kann einer vor- 
gegebenen Look-up-Tabelle entnommen werden, die das Ergeb- 
nis von vorhergehenden Laborexperimenten ist. 

Eine andere Ausf uhrungsmoglichkeit besteht darin, die noti- 
ge Beleuchtungsstarke nicht oder nicht ausschlieftlich einer 
vorgegebenen Tabelle zu entnehmen, sondern wie folgt zu re- 
geln: Als Ergebnis der Rechnungen zu einem auf genommenen 
Bild liegen in der Trackingkamera (Bildauf nehmer ) oder der 
nachgeschalteten zugehorigen Recheneinheit (2D-Rechenstuf e) 
bereits Inf ormationen uber die Helligkeit der einzelnen 
Marker vor. Es ist dann moglich, die Beleuchtungsstarke von 
Bild zu Bild so nachzuregeln, dass die maximale Helligkeit 
(hellstes Pixel) der interessierenden Marker in der Nahe 
eines vorgegebenen Wertes bleibt. Dieser Wert betragt bei- 
spielsweise 80 Prozent der Maximalaussteuerung . Erfindungs- 
gemaft werden hierzu Inf ormationen liber die aktuellen oder 
erwarteten Orte der interessierenden Marker zusammen mit 
Inf ormationen uber die Helligkeiten dieser Marker an die 
Beleuchtungssteuerung zuruckgef uhrt . Hierzu werden bei- 
spielsweise die Daten uber die zu erwartenden Markerorte 



von der zentralen Recheneinheit , die Inf ormat ionen uber die 
Markerhelligkeiten auf kurzerem Weg direkt von der Bildauf- 
nahmeeinheit oder der nachgeschalteten ersten (2D-) 
Rechenstufe an die Beleuchtungssteuerung weitergegeben . 

Neben der Steuerung der Beleuchtungsstarke kann auch eine 
Steuerung der raumlichen Lichtverteilung im Bildbereich der 
Bildauf nehmer erfolgen. Hierzu wird eine Beleuchtungsein- 
heit mit einem in mehrere Segmente unterteilten Licht emit- 
tierenden Bereich verwendet, wobei die einzelnen Segmente 
separat ansteuerbar sind. Die einzelnen Segmente leuchten 
verschiedene Bildbereiche des Bildauf nehmers aus, so dass 
durch die erf indungsgemafte Ruckfiihrung von Inf ormationen 
uber den Ort der interessierenden Marker an die Steuerein- 
heit der Beleuchtungseinheit durch entsprechende Ansteue- 
rung der Segmente nur die interessierenden Bildbereiche 
ausgeleuchtet werden konnen. Zusatzlich kann durch diffrak- 
tive oder refraktive optische Elemente die Strahlungsrich- 
tung gesteuert werden, da Trackingkameras iiblicherweise mit 
nahezu monochromatischem Licht arbeiten. Als refraktive E- 
lemente sind z. B. an die Geometrie der Beleuchtungseinheit 
angepasste Fresnel-Prismenscheiben geeignet . 

Die gesamte erf indungsgemafte Inf ormationsriickf iihrung, die 
Berechnung der jeweils zuriickgef iihrten Information, die 
Steuerung und Regelung der einzelnen Komponenten, wie Bild- 
aufnehmer, Recheneinheiten und Steuereinheiten, anhand der 
riickgef iihrten Inf ormationen kann vorteilhaf terweise mittels 
eines Computerprogramms erfolgen, das in einer eigens dafiir 
vorgesehenen Recheneinheit oder in der bereits erwahnten 
zentralen Recheneinheit zur Bestimmung von Ort und/oder Po- 
sition der Objekte ausgefiihrt wird. Ein entsprechendes Com- 
puterprogramm-Produkt enthalt das Computerprogramm auf ei- 
nem geeigneten Datentrager, wie EEPROMs, Flash-Memories, 
CD-ROMs, Disketten oder Festplattenlauf werken . 



Im folgenden soil die Erfindung und ihre Vorteile anhand 
von in den beigefugten Figuren schematisch dargestellten 
Ausf iihrungsbeispielen naher erlautert werden. 



Figur 1 zeigt in schematischer Form eine Ausf uhrungsf orm 
des Datenf lussschemas eines erf indungsgemalien op- 
tischen Trackingsystems . 



Figur 2 zeigt in schematischer Form das Datenf lussschema 
einer Ausgestaltung eines erf indungsgemafJen Tra- 
ckingsystems , das mit einer Beleuchtungseinheit 
fur passive Marker arbeitet. 



Figur 1 zeigt ein allgemeines Datenf lussschema fur die er- 
findungsgemafte Tnf ormationsriickf lihrung . Das Trackingsystem 
besteht aus mehreren Bildauf nehmern 1, den Bildauf nehmern 
zugeordneten Recheneinheiten 2 fur die zweidimensionale Po- 
sitionsbestimmung von Markern im auf genommenen Bild und ei- 
ner zentralen Recheneinheit 3, in der die Markerpositions- 
daten der einzelnen Bildauf nehmer 1 gesammelt und fur die 
Berechnung der Positions- und/oder Orientierungsdaten des 
Objektes genutzt werden. Es sei darauf hingewiesen, dass 
die in Figur 1 dargestellten Komponenten den Datenfluss 
reprasentieren, was sich in einer logischen Trennung der 
verschiedenen Verarbeitungsstuf en auftert, und dass diese 
logische Trennung nicht notwendigerweise mit einer physika- 
lischen Trennung einhergeht. Es ist folglich in der Praxis 
moglich, z. B. jeweils die Einheiten Bildauf nehmer 1 und 
2D-Recheneinheit 2 oder die Einheiten 2D-Recheneinheit 2 
und 3D/6D-Recheneinheit 3 oder aber alle drei Einheiten in 
einem Gerat zusammenzuf assen . Die zentrale Rechenstufe 3 
liefert die Trackingergebnisse meist an eine weitere nicht 
dargestellte Recheneinheit zur Weiterverarbeitung der Er- 
gebnisse oder an ein nicht dargestelltes Speichermedium. 
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Erf indungsgemaft werden in diesem Ausf uhrungsbeispiel von 
der zentralen Recheneinheit 3 nutzbare Daten zu den vorher- 
gehenden Verarbeitungsstuf en, namlich in diesem Fall zum 
Bildauf nehmer 1 sowie der diesem zugeordneten Recheneinheit 
2, zuriickgef iihrt . Der Inf ormationsruckf uhrungskanal ist mit 
6 bezeichnet. Physikalisch konnen die Inf ormationsruckf iih- 
rungskanale dasselbe Datenubertragungsmedium nutzen wie 
dasjenige zur Ubermittlung der Daten von Bildauf nehmern zu 
zugeordneten Recheneinheiten 2 weiter zur zentralen Rechen- 
einheit 3. Zur besseren Veranschaulichung sind im Daten- 
flussschema gemaft Figur 1 die Datenkanale gesondert einge- 
zeichnet. 

In diesem Ausf uhrungsbeispiel umfassen die Mittel zur In- 
f ormationsruckf uhrung auch eine Pradiktionsstuf e 5, die aus 
den Ergebnisdaten der unmittelbaren Vergangenheit Erwar- 
tungswerte fur das aktuell zu erfassende Bild berechnet. 
Die gewonnen Daten werden dann an die Bildauf nehmer 1 und 
die zugeordnete Recheneinheiten 2 geleitet. Durch die Pra- 
diktion wird der Wert der ruckgef uhrten Daten weiter er- 
hoht . 

Ein mit Markern 4 gekennzeichnetes Objekt wird wahrend sei- 
ner Bewegung im Raum von den Bildauf nehmern 1, die CCD- 
Kameras darstellen, erf asst. Die einzelnen Bilder werden in 
einer nachgeschalteten Recheneinheit 2 (2D-Rechenstuf e) da- 
hingehend ausgewertet, dass die Position der Marker 4 im 
Bild bestimmt wird. Da Ort und Orientierung der Bildaufneh- 
mer 1 bekannt ist, kann aus den Posit ionsdaten der Marker 4 
in den auf genommenen Bildern die Position, d. h. der drei- 
dimensionale Ort, des Objektes in einer zentralen Rechen- 
einheit 3 durch entsprechende trigonometrische Algorithmen 
bestimmt werden. Bei Verwendung von mehr als zwei Markern 4 
konnen zusatzlich noch Inf ormationen iiber die Orientierung 
des Objektes gewonnen werden. Die Trackingergebnisse werden 
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je nach Art der Anwendung in einer weiteren Recheneinheit 
beispielsweise zur Produktion von virtuellen Filmsequenzen 
weiterverwendet . 

In einer Pradiktionseinheit 5, die physikalisch Bestandteil 
der zentralen Recheneinheit 3 sein kann, werden aus den 
Trackingergebnissen eines vorgegebenen Zeitraums Erwar- 
tungswerte fur die jeweils zu erfassenden Bilder berechnet. 
Als Erwartungswerte konnen zu erwartende Markerorte, zu er- 
wartende Markergrdften und/oder zu erwartende Artefakte be- 
rechnet werden. Dies macht es moglich, nur interessierende 
Bildausschnitte, in denen Marker zu erwarten sind, auszule- 
sen, unspezif ische Reflexe auszublenden oder ein gegensei- 
tiges Verdecken von Markern vorher zusagen . Dies erlaubt, 
die Genauigkeit und Schnelligkeit bei der Bildauswertung zu 
erhohen. Hierzu werden erf indungsgemaB die entsprechenden 
Inf ormat ionen von der Pradiktionseinheit 5 direkt zum Bild- 
aufnehmer 1 und/oder zur jeweiligen dem Bildauf nehmer 1 zu- 
geordneten Recheneinheit 2 zugefuhrt. 

Eine besonders geeignete Nutzung der erf indungsgemafien In- 
f ormationsriickf iihrung ist in Form eines Datenf lussschemas 
in Figur 2 dargestellt. Gleiche Komponenten sind mit glei- 
chen Bezugszeichen bezeichnet. Dem Bildauf nehmer 1 ist hier 
eine Beleuchtungseinheit zugeordnet, die eine Steuereinheit 
8 mit Treiberstufe, eine in mehrere Segmente unterteilte 
Lichtemissionseinheit 9 sowie eine Strahlablenkungseinrich- 
tung 10 aufweist. Das von den Segmenten der Lichtemissions- 
einheit 9 emittierte Licht wird mittels diffraktiver oder 
refraktiver Elemente der St rahlablenkungseinrichtung 10 in 
verschiedene Raumrichtungen verteilt. Mit einer solchen Be- 
leuchtungseinheit ist es moglich, die Marker 4 derart zu 
beleuchten, dass diese mit optimaler Helligkeit vom Bild- 
auf nehmer 1 abgebildet werden. Hierzu werden erf indungsge- 
maii Daten nicht nur an den Bildauf nehmer 1 und die diesem 



zugeordnete Rechenstufe 2 sondern auch an die Steuereinheit 
8 der Beleuchtungseinheit riAckgef uhrt . 

Ausgewahlte Daten wie Helligkeitsinf ormationen aus den ers- 
ten Verarbeitungsstuf en, dem Bildauf nehmer 1 und der zuge- 
ordneten Recheneinheit 2, werden kurzfristig in einem Spei- 
cher 7 zwischengespeichert und dann ebenfalls an die Steu- 
ereinheit 8 der Beleuchtungseinheit weitergegeben . Anhand 
der riickgef uhrten Daten, beispielsweise zu erwartende Mar- 
kerpositionen (vergleiche Figur 1) und Markerhelligkeiten, 
kann die Treiberstufe der Steuereinheit 8 die einzelnen 
Segmente der Lichtemissionseinheit 9 mit wahlbarer Licht- 
leistung ansteuern. Durch die nachgeschaltete Strahlablen- 
kungseinrichtung 10 kann dann jedes Segment der Beleuch- 
tungseinheit einen anderen Teil des Bildfeldes des zugeho- 
rigen Bildauf nehmers 1 ausleuchten. Dadurch kann die raum- 
liche Verteilung der Ausleuchtung von Bild zu Bild optimal 
geregelt werden. 

Es ist auch moglich, lediglich die Information liber die 
Entfernungen der Marker 4 zur Steuereinheit 8 der Beleuch- 
tungseinheit zu leiten und abhangig vom Abstand und von der 
Art der Marker 4 die Beleuchtungsleistung und -verteilung 
zu steuern. Die hierzu notwendigen Ansteuerwerte konnen ei- 
ner Look-up-Tabelle entnommen werden, die durch vorherge- 
hende Laborexperimente aufgestellt worden ist. 

Bei der erf indungsgemaiien Ausgestaltung der Beleuchtungsre- 
gelung fur passive Marker ist es vorteilhaft, die Beleuch- 
tungsstarke jeweils so zu steuern, dass die Helligkeit der 
abgebildeten Marker innerhalb des Aussteuerbereichs des 
Bildauf nehmers 1, beispielsweise bei einem Wert von 80 Pro- 
zent der oberen Aussteuergrenze liegt. 
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Die erf indungsgemafte Ruckfiihrung von relevanten Informatio 
nen bei einem Trackingsystem erhoht die Prazision und die 
Geschwindigkeit bei der Auswertung der anfallenden Daten. 



A.R.T. GmbH, Herrsching 



418 001 A 
06.10.2000 



Anspriiche 

1. Optisches Trackingsystem zur Positions- und/oder Ori- 
entierungsbestimmung eines mit wenigstens einem Marker (4) 
ausgestatteten Objektes unter Verwendung mindestens zweier 
Bildaufnehmer (1) zur bildlichen Erfassung des wenigstens 
einen Markers (4) und mindestens einer nachgeschalteten Re- 
cheneinheit (2,3) zur Auswertung der von den Bildauf nehmern 

(1) erfassten Bilder zur Berechnung der Position und/oder 
der Orientierung des Objektes, dadurch gekennzeichnet, dass 
Mittel zur Zuruckf iihrung von in einer Recheneinheit (2,3) 
errechneten Inf ormationen zu einer anderen Recheneinheit 

(2) und/oder zu einem Bildaufnehmer (1) vorgesehen sind. 

2. Optisches Trackingsystem nach Anspruch 1, dadurch ge- 
kennzeichnet, dass den Bildauf nehmern (1) zugeordnete Re- 
cheneinheiten (2) zur Bestimmung der Mar kerpositionen im 
erfassten Bild vorgesehen sind, und dass eine zentrale Re- 
cheneinheit (3) zur Bestimmung der Position und/oder der 
Orientierung des Objektes vorgesehen ist, die mit den ein- 
zelnen Recheneinheiten (2) zur Ubertragung der Bilddaten an 
die zentrale Recheneinheit (3) in Verbindung steht. 

3. Optisches Trackingsystem nach Anspruch 2, dadurch ge- 
kennzeichnet, dass die Mittel zur Zuruckf uhrung von errech- 
neten Inf ormationen Mittel zur Rlickfuhrung von in der zent- 
ralen Recheneinheit (3) errechneten Inf ormationen zu einer 
einem Bildaufnehmer (1) zugeordneten Recheneinheit (2) 
und/oder zu einem Bildaufnehmer (1) umfassen. 



4. Optisches Trackingsystem nach einem der Anspruche 1 
bis 3, dadurch gekennzeichnet , dass die Mittel zur Zuruck- 
fiihrung von errechneten Inf ormationen eine Pradiktionsein- 
heit (5) umfassen, die aus den errechneten Tracking- 
Ergebnissen eine zu erwartende Positions- und/oder Orien- 
tierungsangabe fur das Objekt errechnet. 

5. Optisches Trackingsystem nach einem der Anspruche 1 
bis 4, dadurch gekennzeichnet, dass die Mittel zur Zuruck- 
fiihrung von errechneten Inf ormationen die Datenubertra- 
gungsmittel zur Datenubertragung von einem Bildauf nehmer 
(1) zu der mindestens einen nachgeschalteten Recheneinheit 
(2,3) umfassen. 

6. Optisches Trackingsystem nach einem der Anspruche 1 
bis 5, dadurch gekennzeichnet, dass die Inf ormationsiiber- 
tragung liber Ethernet-Verbindungen erfolgt. 

7. Optisches Trackingsystem nach einem der Anspruche 1 
bis 6 mit mindestens einer einem Bildauf nehmer (1) zugeord 
neten Beleuchtungseinheit (8,9,10) zur Beleuchtung von re- 
f lektierenden Markern (4), dadurch gekennzeichnet, dass 
Mittel zur Zufuhrung von in einer Recheneinheit (2,3) er- 
rechneten Inf ormationen zur Beleuchtungseinheit (8,9,10) 
vorgesehen sind. 

8. Optisches Trackingsystem nach Anspruch 7, dadurch ge- 
kennzeichnet, dass die Mittel zur Zufuhrung von Informatio 
nen zur Beleuchtungseinheit (8,9,10) einen Speicher (7) urn 
f assen . 

9. Optisches Trackingsystem nach Anspruch 7 oder 8, da- 
durch gekennzeichnet, dass die Mittel zur Zufuhrung von In 
formationen zur Beleuchtungseinheit (8,9,10) eine Look-up- 
Tabelle umfassen. 
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10. Optisches Trackingsystem nach einem der Anspriiche 7 
bis 9, dadurch gekennzeichnet , dass die Beleuchtungseinheit 
(8,9,10) eine in mehrere Segmente aufgeteilte Lichtemissi- 
onseinheit (9) aufweist, die getrennt von einer Steuerein- 
heit (8) ansteuerbar sind. 

11. Optisches Trackingsystem nach einem der Anspriiche 7 
bis 10, dadurch gekennzeichnet, dass die Beleuchtungsein- 
heit (8,9,10) eine Strahlablenkungseinrichtung (10), insbe- 
sondere bestehend aus diffraktiven oder refraktiven Elemen- 

ist . 

12. Optisches Trackingsystem nach Anspruch 11, dadurch ge- 
kennzeichnet, dass Fresnel-Prismenscheiben die refraktiven 
Elemente darstellen . 

13. Verfahren zur Positions- und/oder Orientierungsbestim- 
mung eines mit wenigstens einem Marker (4) ausgestatteten 
Objektes, bei dem der wenigstens eine Marker (4) von min- 
destens zwei Bildauf nehmern (1) bildlich erfasst wird und 
aus den gewonnenen Bilddaten die Position und/oder Orien- 
tierung des Objektes mittels mindestens einer Recheneinheit 
(2,3) berechnet werden, dadurch gekennzeichnet:, dass zur 
Steuerung des Berechnungs- und/oder Bildauf nahmevorgangs 
von einer Recheneinheit (2,3) berechnete Inf ormationen an 
eine andere Recheneinheit (2) bzw. einen Bildauf nehmer (1) 
zuriickgef uhrt werden . 

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, 
dass Ausgangsinf ormationen zuriickgef uhrt werden. 

15. Verfahren nach Anspruch 13, dadurch gekennzeichnet, 
dass von aufien eingebrachte, fur die Positions- und/oder 
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Orientierungsbestimmung relevante Inf ormationen zuruckge- 
f iihrt werden . 

16. Verfahren nach Anspruch 13, dadurch gekennzeichnet, 
dass aktuell ermittelte Positions- und/oder Orientierungs- 
inf ormationen zuriickgef iihrt werden . 

17. Verfahren nach Anspruch 13, dadurch gekennzeichnet, 
dass auf Grundlage der aktuellen Positions- und/oder Orien- 
tierungsinf ormationen eine Pradiktion zur Berechnung von zu 
erwartenden Positions- und/oder Orientierungsangaben ausge- 
fiihrt wird, und dass letztere Inf ormationen zuriickgef uhrt 
werden . 

18. Verfahren nach einem der Anspriiche 13 bis 17, bei dem 
ref lektierende Marker von einer einem Bildauf nehmer (1) zu- 
geordneten Beleuchtungseinheit (8,9,10) beleuchtet werden, 
dadurch gekennzeichnet, dass die riickgef iihrten Informatio- 
nen zur Steuerung der Beleuchtungseinheit (8,9,10) verwen- 
det werden. 

19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, 
dass die Lichtleistung der Beleuchtungseinheit (8,9,10) ge- 
steuert wird. 

20. Verfahren nach Anspruch 18 oder 19, dadurch gekenn- 
zeichnet, dass die raumliche Lichtverteilung der Beleuch- 
tungseinheit (8,9,10) gesteuert wird. 

21. Verfahren nach einem der Anspriiche 18 bis 20, dadurch 
gekennzeichnet, dass zur Steuerung der Beleuchtungseinheit 
(8,9,10) eine vorgef ertigte Look-up-Tabelle verwendet wird. 

22. Verfahren nach einem der Anspriiche 18 bis 20, dadurch 
gekennzeichnet, dass die Beleuchtungsstar ke derart gesteu- 
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ert wird, dass die maximale Helligkeit der abgebildeten 
Marker (4) in der Nahe eines vorgegebenen Wertes, insbeson- 
dere bei etwa 80 % der maximal auflosbaren Helligkeit, 
bleibt . 

23. Computerprogramm mit Programm-Code-Mitteln, urn alle 
Schritte eines der Ansprliche 13 bis 22 durchzuf iihren, wenn 
das Computerprogramm auf einem Computer oder der mindestens 
einen Recheneinheit (2,3) ausgefiihrt wird. 

24. Computerprogramm-Produkt mit Programmcode-Mitteln, die 
auf einen computerlesbaren Datentrager gespeichert sind, urn 
ein Verfahren nach einem der Ansprliche 13 bis 22 durchzu- 
fuhren, wenn das Computerprogramm auf einem Computer oder 
der mindestens einen Recheneinheit (2,3) ausgefiihrt wird. 
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Optisches Trackingsystem und -verfahren 

Zusammenf as sung 

Bei einem optischen Trackingsystem zur Positions- und/oder 
Orient ierungsbestimmung eines mit wenigstens einem Marker 
(4) ausgestatteten Objektes mit mindestens zwei Bildauf neh- 
mern (1) zur bildlichen Erfassung des wenigstens einen Mar- 
kers (4) und mit mindestens einer Recheneinheit (2,3) zur 
Auswertung der von den Bildauf nehmern (1) erfassten Bilder 
wird vorgeschlagen, Mittel vorzusehen, iiber die relevante 
Informationen, die von einer Recheneinheit (2,3) errechnet 
wurden, zu einer anderen Recheneinheit (2) und/oder zum 
Bildauf nehmer (1) zuriickzuf iihren, urn den Berechnungsvorgang 
bzw. die Bildauf nahme zu steuern. Vorteilhaft ist, von ei- 
ner Pradikt ionseinheit (5) berechnete Erwartungswerte zu- 
riickzuf iihren . Hierdurch wird eine schnellere und prazisere 
Verarbeitung der anfallenden Bilddaten moglich. 



(Figur 1) 
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